tg-me.com/turboproject/1671
Last Update:
Поясню типичную ошибку 95% пользователей GPT, которые не понимают, что ИИ на деле как "Юлий Цезарь" любит делать 90 дел сразу же.
Фокус в головках внимания (head attention) у трансформера. Их довольно много - 90 штук в 100 слоях, т.е. около 9000 головок внимания современной GPT как Gemini или Grok.
Головки внимания обычно имеют набор специализаций под свой семантический срез векторов. Иными словами, одни головки занимаются ТЗ, другие кодом, третьи - стройкой, четвертые - тестами и т.д. Существенный момент, что головки внимания работают ПАРАЛЛЕЛЬНО и даже если вы толкнете их всех, то GPT будет работать также быстро. Причем Перцептрону чем больше головок внимания "выстрелили корреляциями" в духе "тут есть ТЗ! тут есть код! тут есть тесты! это код про стройку!", тем Перцептрону лучше, т.к. он лучше понимает богатый контекст.
Если вы генерируете код, но не создали для ИИ ТЗ с точки бизнес-логики, то часть головок внимания ... просто не работают, а Перцептрон имеет бедную семантику
Грузите GPT как Цезаря!
BY AI Projects
Share with your friend now:
tg-me.com/turboproject/1671